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ПИ учумов Илья, ||| 
| оуко водител ы раз раб ОТки 

ГО варного Поиска | 


Обо мне 


-- Руководитель отдела разработки 
Товарного Поиска в Яндексе 


-- В прошлом руководил качеством поиска 
в Лавке и разработкой Гурбо-страниц 


2 Яндекс (не) НизНЕоаа** 


<— 


са 


зле 


|= 


ИРАК БИО: Карты Товары Переводчик ЕВЕ оао ооо пп ооо ое паг — 


Мобильные телефоны 


= По популярности 1 Фильтры Бренд Х Цена > Линейка Операционная система ^^ 


4,8 


Смартфон Арр!е1РПопе 13 128 ГБ, Смартфон Арре 1РПопе 13 256 ГБ Смартфон Арр!е1РПопе 13 128 ГБ 


тёмная ночь КОИ, сияющая звезда КО, сияющая звезда 
499902 64990? 54 978 2 

Лучшая цена Лучшая цена Лучшая цена 

ещё 33 предложения ещё 5 предложений ещё 5 предложений 


Смартфон Арр!е1РПопе 13 512 ГБ Смартфон Арр!е1РПопе 13 512 ГБ Смартфон Арр!е1РПопе 13 128 ГБ, 


КО, синий КО, розовый синий 


Смартфон Арре !РПопе 13 512 ГБ 
КОИ, сияющая звезда 

949802 

Лучшая цена 

ещё 5 предложений 


Смартфон Арр!е1РПопе 13 256 ГБ, 


тёмная ночь 


Товары 


Яндекс (но) 


Ни2НГоаа** 


2022 


[4,8 948 отзывов 69 94% рекомендук 


Цвет товара: тёмная ночь 


Смартфон Арре !РПопе 13 128 ГБ, тёмная 
НОЧЬ 
@ 948 отзывов 09 94% рекомендуют 


Цвет товара: тёмная ночь 


| * | 
РЕрЕНи: Конфигурация памяти: 
Ростест (ЕАС) 2 № 
| 128 ГБ 256 ГБ 512 ГБ 


Конфигурация памяти: 


о 
128 ГБ 256 ГБ 512 ГБ 


Коротко о товаре 
экран 6.1" (2532х1170) ОЕЕБ 60 Гц Цены в магазинах 
встроенная память 128 ГБ 
Все характеристики | © ап!-$Н ор.ги 7 
| 
| 
Предложение спонсора Реклама : | 4,6 732 отзыва 
ге-5Еоге.ги 75 990? _ магазин 
| 
| 
| 
Цены в магазинах Пожаловаться 
| 
| 


С) апи-5Порли 49 9902 
4,6 732 отзыва ) Лучшая цена 


С» ьегидемсе.ги 50 500? _ Вмагазин 


Я 4,5 Нет отзывов 


Яндекс (нк) НИЕНГоаа*" 


Про что доклад 


+ +++ 


Про построение базы цен ГТоварного Поиска 
Мы проверили, все работает и на других срезах 


ключевая функциональность, 
высокие требования правильности 


Цены быстро меняются, невозможно кэшировать 


Яндекс (но) 


Ни2НГоаа** 


2022 


План < 


ОЛ Общая архитектура базы Говарного Поиска 
О2 — Подробно про парсинг и скачивание 


О5 — Другие удачные применения парсинга 


Что такое построение базы цен 


20 => 1,5 
товаров 9 


7 7 о случаиных товаров меняют 
ие О цену каждые 24 часа 


Ошибка цены — это плохо 


мл 
интернет-магазинов 


7 Яндекс (нь) НаНГоаа*" 


Общая архитектура 


Краулер Поток Вит! —> | Контент-система Робота 


Бип Чата 


Парсер 


| 


00 


— Поток данных-> 


Хранилище 


Полный индекс 


Рантайм 


Пользователь 


Яндекс (но) НиНЕоаа"" 


2022 


Общая архитектура 


Полный индекс 


Пользователь 


о Яндекс (нк) НЕНГоаа*" 


2022 


Общая архитектура 


Краулер | — Поток Ним! —> | Контент-система Робота 


Бип Чата 


Парсер 


— Поток данных Хранилище 


Полный индекс 


Рантайм 


Пользователь 


Яндекс (но) 


Ни2НГоаа** 


2022 


Что такое парсинг 


ВН 


Чёрная Пятница 


11 


и 


-10% на комплект 


| 
Стиральная машин 


| 
ЖАК 37 отзывов 
| 


Цвет: ий 


Фо 


Максимальная загрузка (2) 
Мотор 


Максимальная скорость 


отжима 


Минипрограмма (? 


Индикация времени до конца 
программы 


Расход воды за цикл 
Гарантия 
Страна (2) 


Все характеристики 


Узкая стиральная машина ВеКо \/5РЕ7Н616\\/ не занимает 


м 
} 


ИБ 


инверторный (2) 


1200 об/мин 


14 мин 


Да 


55л 
2 года 


Россия 


много места и подходит для установки в небольших 


помещениях. Есть 15 программ, среди которых ускоренные 
циклы и специализированные режимы для определённых 


типов вещей, например, для пуховиков и спортивных 


костюмов. СОВРЕМЕННЫЕ ТЕХНОЛОГИИ Сердце модели - 
инверторный мотор, который работает с низким уровнем... 


Читать далее 


а узкая ВеКо \\/$РЕ7Н616\/ 


У 
беко 
ня 


Код товара: 2007 6822 


Авторизуйтесь, чтобы 
снизить цену 


| 
28 999 Р з25°° 


Посмотреть применённые скидки “/ 


Добавить в корзину 


@Ф нашли дешевле? 


М Кэшбэк +870 Бонусных м 
рублей 
% Кредит от 2 832 Р/мес (2) 


% Рассрочка от1 209 ?/мес  (?) 


Способы получения заказа 


Самовывоз за 15 минут из 7 
магазинов М.Видео Сегодня, 
бесплатно 


Цвет: 


28 999 2 зоо: 


Яндекс (но) 


Ни2НГоаа** 


2022 


Что такое парсинг 


ХХ. 


< © № 


Электросамокат Мтеро{ КсК$соотег О18Ц, до 100 кг, черный 


[4.6 124 отзыва Характеристики 41 вопрос 1 дизайн, качество сборки 23 370 человек интересовались за 2 месяца 


[. с 
1. 


ЕЩЕ 17 


12 


Коротко о товаре 


Максимальная нагрузка 
Запас хода 
Максимальная скорость 
Мощность двигателя 
Вес 

Особенности конструкции 
Материал рамы 
Материал колес 
Аккумулятор 

Тип тормоза 
Подробнее 

Задать вопрос о товаре 
Все товары Мтерот 


100 кг 

до 18 км без подзарядки 
25 км/ч 

250 Вт 

14.9 кг 

амортизатор, складной 
алюминиевый сплав 
резина 

5100 мА-ч 

ручной, комбинированный 


\% Следить за снижением цены (7 В избранное 


[уПЕР | 5 в Г у а 
4 А або 
1С [7 у Г) К ` |7‘ ] - 


32 9902 ИВ 


ВЕЕЕСЕЕ сплито 


©;660 баллов на Плюс 


Самовывоз завтра, 19 октября — бесплатно 
Курьером завтра, 19 октября — бесплатно 


Доставка Яндекса со своего склада (©) 


Оплата онлайн 

— 1 товар в корзине 
©\% Маркет 

2 мес 4 мес 

8 248 Р сегодня 
и 24742 Р потом 
18 окт 1 ноя 15 ноя 
8248 Р 8248 Р 8248 Р 


6 мес 


Ни2НГоаа*" 


Яндекс (ны) 


Что такое парсинг 


"{1(1е": "Стиральная машина“ 
“ргтсе’: 32999 
НТМЕ —> "ама11аб1е": тгие 
'тазп_1таде’: “п\фре: сап., $Пор. ги/ма$п. ]рд" 
"бгапа": "Самый лучший" 


15 Яндекс (не) НиНГоаЯ "" 


2022 


14 


А можно ли просто? 


Яндекс (нь) НИЕНГоаа*" 


Микроразметка 


+++ 


15 


Быстро реализовать 
Веб-мастера напрямую влияют 
Покрытие — 50% товаров 


Невозможно влиять со стороны парсера 


<пефа 1кетргор="а\уа11ар1116у" сопбеп&="ВЕфрз: / /зсБема.ога/ТибеосКк" /> 
<пефа 16епргор="рг1сеСаггепсу" сопбепЕ="ВОВ" /> 
<пефба 1кетргор="рг1се" сопбепЕ="82990" /> 


Яндекс (нь) НИЕНГоаа*" 


Парсеры на селекторах 


<Ам саз$="Ргоди‹{СайЕ1хея9ВосК__рпсе"> < 
<5рап са$$="_сиггет-рпсе |5--_сигептерисе "> 
5990 
</5рап> 
<5рап са$$="Ргоди‹{Рисе _ гоцЫе __гочЫе"> 
&#х20Ьа: 
</5рап> 
</ЧМ№М> 


Яндекс (нг) Менгоаа" 


а 


Селекторы 


Накликайте селекторы с помощью М/азоп. Вы можете выделять блоки, коллекции 
и указывать дополнительную обработку контента 


... 


рисв-Боск ппа}- @ = # . Хх 


ВФ >< 


[-+ Блок росе 


| 
[6 | Вывод 


эапииге / Исключить теги 


Блок Коллекцию Готовый элемент 


Микроразметка 


Парсинг микроразметки страницы 


Спарсить микроразметку Не парсить микроразметку 
Поддержка У/изоп ©@ ® © 


<” АТА ог ыминАя А ды —ы. 


Скрыть расширение 


серы на селекторах 


гпа1- @ 2 | ре 
< 


[-+ Блок риа ‚рисв-Ыоск 


] 
фе | Вывод 


ЕЙ 1 ГЕ ТЕН 


(© Загиыге / Исключить теги 


Селекторы х 


Чу. ргодыс-раое  ргсе-Ьоск-ги 
П-сиН1] > доп СПЕ > ли: 
пЕН-сВИ 3 > ропЕ-СР4Е 1 | > эра 
п: п4А-с9Г 1} > пп ПА -С90 3] 


[ ‘рисе-Моск бпа-рисе 


‚рисе-Бюск__ Ипа|-рисе 


В кредит от 5 004 2 


| Ги 


Добавить в корзину 


| Арр(е / Смартфон Арр/е 1РВопе 11 128СВ  рРАссРочкАото-0-6_ и М> и 
жжжх 


212 отзывов Артикул: 86123929 Купили более 1 400 раз 


Цвет: черный 

Селекторы 
Питание 
В-сви( 1) > дп -сР (8) > Фи: (1) 
п(И-свИЗ(3) > ропИ-сР (1) > эра 
п.п СН 1} > п5-А-СВй4{ 3) 


рисе-Моск _Япа!-рисе ) (105 


Мультимедийные возможности а 


Время работы в режиме 
разговора (тах) 


Емкость аккумулятора 


Фронтальная камера (млн 


пикс.) 12 Мп 


Количество мп основной 


камеры 12 Мп 


17 


Чииргодис!-раде _ рйсе-Боск-ги 6% 


х 50040 ...--- + 


В кредит от 5 004 2 


Добавить в корзину 


20-22 октября 


История цены 


< 


от 43 800 Р до 54 99 


20-22 октября 


НВ 


2022 


Яндекс (нь 


Гоа "" 


Попытка накликать парсеры 


Арье 1РПопе 13 Рго Мах 256СВ Оца! УМ $Ймег купить... 
ре${-тадатт.сот > Арр!е1РНопе 13 Рго Мах 256СВ Виа! $М $1Име! (... эх 4,9 
Купить Айфон 13 Про Макс 256 ГБ Оца! $М в Бест-магазин. ... Процессор 1РПопе 
13 Рго Мах Оца! $УМ (256СВ, $Йуег, 2 папо $ М) имеет 2 высокопроизводительных 
ядра (тактовая частота до 3,23 ГГц) плюс 4 ядра эффективности. Читать ещё 


БО 100 150 200 250 500 550 ОО 


Яндекс (но) 


Ни2НГоаа** 


2022 


Попытка накликать парсеры 


ТО разработчиков < ПИЦЦ 


+ Колаи чай 


+ Большая переговорка 


Мы написали 198 80 парсеров за встречу 


ЗО 70 отправили в эксперимент 
(через месяц осталось 60) 


19 


Яндекс (нь) НИЕНГоаа*" 


Парсеры на селекторах 


Возможность влиять на качество 
со стороны парсера 


Быстро распарсить конкретный сайт 


1.5 млн. парсеров = около 150 рабочих 
человеко-лет накликивания 


+ ++ + 


Нужна постоянная поддержка разработчиков 


Яндекс (но) 


Ни2НГоаа** 


2022 


Парсеры краудом 


© 


Берем 
конкретный 
саит 


21 


© 


Толокер 
создает 
селекторы 


[з, 


Другие толокеры 
проверяют 
качество 

на семпле 
страниц 


Если всё 


хорошо — 
добавляем в 


стейт 
парсера 


Яндекс (но) 


НизиГоаа "" 


2022 


Почему неидеальное решение? 


+ Парсеры независимые 


1.5 жд — 1.1 ВД О. 75 долларов/штука 


парсеров долларов 


о . 
5 О % случайных парсеров 


сломаются за месяц 


® Стоимость проверки 7БО тыс. долларов (еженедельно) 


Расходы не делятся на другие срезы 


22 Яндекс (нь) НиНГоаа "" 


2022 


Саммари простых методов 


-- Простых рабочих эвристик по контенту нет 
-- Микроразметка — среднее покрытие, но быстро запустить 


-- Селекторы — хорошее покрытие, но дорого поддерживать 


25 Яндекс (нь) НизНЕоаа** 


Классификация вершин ВОМ-дерева 


бо Су оса | 
Авторизуйтесь, чтобы снизить 7 


цену У 


ре и м 
с1азз=регзопа|-рисе 

4999 2? | | | | 
Скрыть применеённые скидки 
ыы Ре 

у у } | 

Скидка 
4999 5999 —1000 


рисе=гие рпсе=а|зе опсе=а|зе рпсе={а!зе 


24 Яндекс (нк) НизНЕоаа** 


Текстовый фактор 


боау ааа 
Авторизуйтесь, чтобы снизить 7 


цену У 


Фе ——> © [У 
с1азз=регзопа|-рпсе 
Скрыть применеённые скидки 
ана ры р 
Настроить скидки › | | | | 
Скидка 
4999 6999 000 


рисе=гие рпсе=а!зе рисе=а!зе рисе=Га!зе 


Тех = Авторизуйтесь, чтобы снизить цену | 4 999 || с1азз=регзопа!-рисе | 5999 


25 Яндекс (нк) НизНЕоаа** 


Контекст вершины в дереве 


Тег родителя, дедушки, ... 


Сколько параграфов (ссылок, картинок, ...) 
у родителя, дедушки? 


А сколько еще таких же вершин в дереве? 


++ ++ 


26 


Количество вершин у родителя, дедушки, ... 


Яндекс (нг) Менгоаа" 


Позиция в дереве 


| 


| | | 


саззСонпВе{тоге=оО саззСонпВетоге=1 
геРоз\\/ога$=0.5 геРоз\Л\/ога$=0.8 


27 Яндекс (нк) 


Ни2НГоаа** 


2022 


Позиция в дереве 


| | | | | 


саззСонпВетоге=оО саззСонпВетоге=1 
геРоз\Л\/ога$=0.5 геРоз\Л\/ога$=0.8 


28 Яндекс (нь) НиНГоаЯ "" 


2022 


Необходимость оптимизаций 


Краулер | — Поток Ним! — | Контент-система Робота Поток данных-> Хранилище 


-100к ВР$ 


Полный индекс 


Рантайм 


| 


+ 1000 вершин 
+ 800 факторов 
+ -1ОкСРИ 


Пользователь 


29 Яндекс (нк) НаНГоаа*" 


Сужение потока до товарных страниц 


Краулер | — Поток Ним! — | Контент-система Робота Поток данных-> Хранилище 


-100к ВР$ | 


ВЕ! Чата Полный индекс 


-1Ок КР 


Классификатор у 


< иг Ще 
товарности Парсер 


-- Е(аи, чче) = является 
ли страница товаром 


- Легкая ОЗЗМ'ка 


Пользователь 


50 Яндекс (нк) НизНЕоаа*" 


Похостовое кэширование 


+: 


Чёрная Пятница 0-0-24 Мегарассро... -10% на комплект 


51 


Стиральная машина узкая ВеКо \/$РЕ7Н616\/ беко 


ЖЖ? 37 отзывов М © 


Цвет: Белый 


Фо 


Максимальная загрузка (2) 7.5 кг 

Мотор инверторный (“ 
Максимальная скорость 1200 об/мин 
отжима 

Минипрограмма (2 14 мин 
Индикация времени до конца Да 

программы 

Расход воды за цикл 55л 

Гарантия 2 года 

Страна (?) Россия 


Все характеристики 


Узкая стиральная машина ВеКо \/5РЕ7Н616\\/ не занимает 


много места и подходит для установки в небольших 


помещениях. Есть 15 программ, среди которых ускоренные 


циклы и специализированные режимы для определённых 
типов вещей, например, для пуховиков и спортивных 


костюмов. СОВРЕМЕННЫЕ ТЕХНОЛОГИИ Сердце модели - 
инверторный мотор, который работает с низким уровнем... 


Читать далее 


Код товара: 2007 6822 


Авторизуйтесь, чтобы 
снизить цену 


28 999 Р зло» | М8 


Посмотреть применённые скидки 


Добавить в корзину 


©) нашли дешевле? 


М Кэшбэк +870 Бонусных у“ 
рублей 


% Кредит от 2 832 Р/мес 


% Рассрочка от 1 209 ?/мес 


Способы получения заказа 


Самовывоз за 15 минут из 7 
магазинов М.Видео Сегодня, 
бесплатно 


28 999 


Посмотреть примененные скидки 


Яндекс (но) 


Ни2НГоаа** 


2022 


Похостовое кэширование 


< С @а 


Ноутбук Нопог Мад'сВоок Х15 15/16/512 Сгеу 
(ВВВ-М/АНО) 


ЖАЖЖХЯ 18 отзывв || © < а 6 О О О О 1 


< 


Е 
Диагональ/разрешение 15.6"/1920х1080 пикс. | 
, Авторизуйтесь, чтобы | 
Процессор |п(е! Соге 15 102100 1.6 снизить цену 
ГГЦ 9 
Оперативная память 16 ГБ | 
(ВАМ) (©) = Осталось мало! Сейчас этот | 
товар смотрят 43 человека | 
Графический пе! ИНО СгарНс$ : : | 
контроллер (2) | 
| 
Объем $$0 512 ГБ 
| 
Датчик отпечатков Да 69 999 Р ВАО ЕЯ | — 

пальцев (2) Настроить скидки › 


2022 


52 Яндекс (не) НиНГоаа "" 


55 


Давайте генерировать 
селекторы моделью 


Яндекс (нь) НИЕНГоаа*" 


Алгоритм построения селекторов 


© 


Смотрим путь 
отвершины 
до корня 


54 


© 


Выписываем 
теги + класс 
от вершины 

до корня 


© 


Проверяем, что 

все 99% вершин 

с таким селектором 
являются ценой 


Сохраняем 
селектор 

для конкретного 
сайта 


Яндекс (но) ННГоа4 ^ 
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Как используем 


Для каждого хоста (Роз\, сзз_зееског) —> апз\мег 
Файлик с миллионом записей 
Регулярно перестраиваем без участия крауда 


Экономия 60% железа 


—-- 
—- 
-- 
—— 
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Как режется поток 


1О0Ок ВР —ЭО0% за счёт классификатора 
1Ок ВР$ —50% за счёт микроразметки 
ок КР —60% за счёт кэширования 


2к ВР$ можно и распарсить 
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Почему актуальность цен важна 


< | 


Электроника › Смартфоны и гаджеты › 


Мобильные телефоны 


Смартфон Арре РПопе 12 
РгоМах 128 ГБ 


Рго 128СВ Яблоко гплах 128 ГБ, черный ГБ Синий 


Смартфон Арр!е1РПопе ХК 13 Смартфон Арре1РПопе 12 Ро Телефон Арр!е !Рпопе 13 128 


МЛаБегие$ о20мМ арредоа.ги ОГОМ 


Яндекс (Е) нимна- 


5/ 
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Давайте будем обходить базу 
раз в день (неделю?) 


Яндекс (нг) Менгоаа" 


Поддержка актуальности 


-- Вочцпа гобт не работает, прокачка всей базы — больше месяца 
+ Похостовые лимиты — серьёзная проблема 


+ 1ОМ за день — это 116 ВР$ на конкретный сайт 


59 Яндекс (нь) НизНЕоаа** 


Эвристики скачивания 


Показы в поиске обходим всегда — покрываем популярные 


По ((е, сахевогу, оЙег_аве) предсказываем вероятность 
изменения цены с последнего скачивания 


Качаем самые вероятно изменившиеся 


++ ++ 


|одбираем фильтр по возрасту, если нужно 


до Яндекс (нг) Менгоаа" 


Финальная схема 
ИОН: 


Контент-система Робота 


Поток Поток 


Полный индекс 


Быстрый 


Классификатор НИЯ 


товарности 


ий, *е 


Конфиг селекторов 


Рантайм 


Построение классов 
эквивалентности 


Все кликнутые документы — 


Клики и показы ТВ Пользователь 


41 Яндекс (нк) НЕНГоа4 ^ 


2022 


Что можно парсить еще 


= 


< | 


х + 

В 
@®) Яндекс Практикум профессия 
Ру{Поп-разработчик 

©) Скидки на Госуслугах \ Популярно 

начало с1 ноября цена закурс 138 6002 

длительность 9 месяцев отзывы ии. 

в группе с наставником : для новичков - диплом : есть трудоустройство : есть бесплатная часть 
навык 


@ черк 
"Поколение Ру{Поп": курс для начинающих 


3\ Популярно 
начало в любой момент цена за курс — бесплатно 
длительность 3 часа отзывы 28 
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Сложные характеристики товаров 


АА 


х + 


Куртка мужская МОД 12032, темно-серый, 


48/182 


Цвет товара: 


темно-серый черный 


Размер: 
(48)182-96-80 (50)182-100-84 


Коротко о товаре 


темно-серый 
зима 

полиамид 100% 
прямой 
МОЛНИЯ, КНОПКИ 


карманы, капюшон 


< | 
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Несколько подходов к парсингу структурированных данных 
Как поддерживать актуальность базы 
Архитектура базы ГТоварного Поиска 


Различные сферы применения алгоритмов парсинга 


Яндекс (нь) НИЕНГоаа*" 


/ —_ | - то 
Дема р ад 
Ги несколько подходовж парсингу . 
| структурированных данных 27 
Вы Как поддерживать актуальнобть базы 


—- Архитектура базы о Поиска 
_|\+ Различные сферы применения. 

\\ алгоритмов пррфийуа 

\|| | | | 


А ы ил || 
| руководитель разработки Товарного о 
| | Фуа | и. \ 


Я 
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